Sinh ra ở Bjärred, Andersson bắt đầu sự nghiệp tại câu lạc bộ bóng đá địa phương, Bjärreds IF. Năm 1988, anh chuyển sang Malmö FF, một đội bóng đang chơi tại giải đấu cao nhất Thuỵ Điển.

Blackburn Rovers

Tháng 12 năm 1992, Andersson đã trở thành cầu thủ chuyên nghiệp khi anh chuyển đến Blackburn Rovers với mức phí khoảng 800.000 bảng.[3][4] Anh chỉ khoác áo Rovers một năm và chỉ có 12 lần ra sân tại Premier League. Tuy nhiên, anh vẫn được chú ý vì là một trong những bản hợp đồng nước ngoài đầu tiên của Blackburn Rovers, và là một trong số ít cầu thủ nước ngoài thi đấu trong mùa giải đầu tiên của Premier League[4]. Anh đã ghi bàn một lần cho Blackburn, trong trận thua 2-1 trước Sheffield Wednesday trong trận lượt về bán kết Cúp Liên đoàn Anh 1992-93.[5]

Borussia Mönchengladbach

Điểm đến tiếp theo của anh là nước Đức vào tháng 10 năm 1993 và chơi cho Borussia Mönchengladbach.[6] Tại đây, anh giành được một DFB-Pokal vào năm 1995, nhưng đã rời đi khi thành tích của đội đi xuống vào năm 1999.

Bayern Munich

Tháng 6 năm 1999, Andersson ký hợp đồng với Bayern Munich với giá xấp xỉ 6 triệu DM.[7] Anh ra mắt vào ngày 22 tháng 8 năm 1999 trong trận thua 2-0 trước Bayer Leverkusen. Cùng với Bayern, anh có 2 chức vô địch Bundesliga (trong mùa giải vô địch 2000-01, Andersson đã ghi bàn thắng quyết định vào lưới Hamburger SV ở phút cuối[8] - bàn thắng duy nhất của anh cho câu lạc bộ), một DFB-Pokal và đặc biệt là chức vô địch UEFA Champions League 2000-01,[9] mặc dù trận chung kết anh đã đá hỏng trong loạt luân lưu.[10]